در دنیای دیجیتال امروزی، جمع‌آوری داده از وب‌سایت‌ها توسط ربات‌های خزنده (Web Crawlers) به یک چالش بزرگ تبدیل شده است. به گزارش کارشناس شرکت سحاب، این ربات‌ها، که بسیاری از آن‌ها برای آموزش مدل‌های هوش مصنوعی به کار گرفته میشوند، اغلب بدون اجازه داده‌های وب‌سایت‌ها را استخراج می‌کنند. بسیاری از شرکت‌های بزرگ مانند Anthropic و Perplexity AI متهم شده‌اند که به قوانین احترام نمی‌گذارند و بدون رعایت فایل robots.txt به این فعالیت‌ها ادامه می‌دهند.
Cloudflare، یکی از بزرگ‌ترین شرکت‌های زیرساخت اینترنتی جهان، به جای مسدود کردن این ربات‌ها، راهکار جدیدی برای مقابله با آن‌ها معرفی کرده است: AI Labyrinth یا «هزارتوی هوش مصنوعی». این ابزار رایگان و انتخابی، به جای متوقف کردن خزنده‌های بدخواه، آن‌ها را به یک مسیر بی‌پایان از صفحات تولید شده توسط هوش مصنوعی هدایت می‌کند. این رویکرد باعث می‌شود که منابع این ربات‌ها هدر برود و شناسایی آن‌ها نیز آسان‌تر شود. در ادامه اخبار هوش مصنوعی شرکت سحاب، با ویژگی‌ها، کاربردها و محدودیت‌های این ابزار بیشتر آشنا خواهید شد.
چالش مقابله با خزنده‌های وب
طبق بررسی های کارشناس شرکت سحاب، روزانه بیش از ۵۰ میلیارد درخواست خزیدن وب‌سایت‌ها در Cloudflare ثبت می‌شود. این حجم عظیم از درخواست‌ها نشان می‌دهد که بسیاری از وب‌سایت‌ها دائماً توسط ربات‌هایی که هدفشان جمع‌آوری داده است، اسکن میشوند. در حالی که Cloudflare ابزارهای متعددی برای شناسایی و مسدود کردن این ربات‌ها دارد، اما همیشه یک بازی موش و گربه بین این شرکت و عاملان بدخواه در جریان است. هر بار که روشی برای جلوگیری از این خزنده‌ها معرفی می‌شود، مهاجمان نیز تاکتیک‌های خود را تغییر می‌دهند و روش‌های جدیدی برای دور زدن این سدهای امنیتی پیدا می‌کنند.
راه‌حل Cloudflare: هزارتوی هوش مصنوعی
Cloudflare در رویکرد جدید خود، به جای مقابله مستقیم با ربات‌ها، آن‌ها را به دام می‌اندازد. AI Labyrinth با ایجاد یک شبکه از صفحات به‌ظاهر معتبر اما بی‌ارزش، خزنده‌های وب را به سمت داده‌های غیرمفید هدایت می‌کند. این صفحات توسط هوش مصنوعی تولید شده‌اند و اطلاعاتی کاملاً تصادفی و نامرتبط را ارائه می‌دهند که هیچ ارتباطی با داده‌های اصلی سایت ندارد.
این روش عملکردی مشابه هانی‌پات‌های نسل جدید دارد. یک کاربر عادی هیچ‌گاه وارد این صفحات نمی‌شود، اما یک ربات خزنده به دلیل پیروی از لینک‌ها، مدام در میان این صفحات گیر می‌کند و بدون آنکه به داده‌های ارزشمند دسترسی پیدا کند، منابعش را هدر می‌دهد. در این فرآیند، Cloudflare می‌تواند الگوهای رفتاری این ربات‌ها را بهتر شناسایی کند و امضای دیجیتالی آن‌ها را برای تشخیص در آینده ذخیره نماید.
تأثیر «هزارتوی هوش مصنوعی» بر امنیت وب
Cloudflare تأکید می‌کند که محتوای تولیدشده توسط AI Labyrinth نباید باعث گسترش اطلاعات نادرست در اینترنت شود. به همین دلیل، محتواهای ایجاد شده به حقایق علمی مرتبط هستند اما هیچ ارتباطی با داده‌های اختصاصی سایت موردنظر ندارند. این یعنی ربات‌ها در میان داده‌هایی پرسه می‌زنند که هیچ ارزش واقعی برای آن‌ها ندارد، اما در عین حال، باعث نشر اطلاعات نادرست نیز نمی‌شود.
علاوه بر این، Cloudflare در نظر دارد تا شبکه‌ای از لینک‌های مرتبط با هم ایجاد کند که خزنده‌های هوش مصنوعی را برای مدت طولانی در این هزارتو گرفتار کند. به عبارت دیگر، این خزنده‌ها ممکن است ماه‌ها در میان داده‌های تولیدشده سرگردان بمانند بدون اینکه متوجه شوند این صفحات واقعی نیستند.
چگونه می‌توان از AI Labyrinth استفاده کرد؟
مدیران وب‌سایت‌ها به راحتی می‌توانند از طریق داشبورد Cloudflare و بخش مدیریت ربات‌ها (Bot Management) این قابلیت را فعال کنند. این ویژگی کاملاً رایگان و اختیاری است، بنابراین وب‌سایت‌هایی که نمی‌خواهند داده‌هایشان توسط خزنده‌های بدون مجوز استخراج شود، می‌توانند با یک تنظیم ساده از این ابزار استفاده کنند.
Cloudflare اعلام کرده که AI Labyrinth تنها اولین نسخه از مجموعه‌ای از ابزارهای مبتنی بر هوش مصنوعی برای مقابله با ربات‌ها است و قصد دارد در آینده روش‌های پیشرفته‌تری را نیز توسعه دهد.
آینده روشن برای هزارتوی Cloudflare
با توجه به رشد سریع هوش مصنوعی و نیاز مداوم شرکت‌ها به داده‌های اینترنتی، روش‌های سنتی برای مقابله با خزنده‌های وب دیگر چندان مؤثر نیستند. Cloudflare با معرفی «هزارتوی هوش مصنوعی» رویکردی نوآورانه را ارائه کرده که نه‌تنها خزنده‌های بدخواه را متوقف می‌کند، بلکه منابع آن‌ها را هدر داده و الگوهای رفتاری‌شان را نیز شناسایی می‌کند.
با فعال‌سازی این قابلیت، وب‌سایت‌ها می‌توانند بدون نگرانی از استخراج غیرمجاز داده‌هایشان، امنیت و حریم خصوصی خود را افزایش دهند. این رویکرد نه‌تنها به صاحبان سایت‌ها کمک می‌کند، بلکه به حفظ یک اکوسیستم اینترنتی سالم‌تر و ایمن‌تر نیز کمک خواهد کرد.
برای مطالعه بیشتر به TheVerge مراجعه بفرمایید
